Selepas melakukan penampilan sulung antarabangsa pada usia 19 tahun pada tahun 1958, beliau beraksi pada tiga edisi Piala Dunia iaitu 1962 di Chile, 1966 di England dan 1970 di Mexico. Secara keseluruhan, beliau telah beraksi 33 perlawanan dan menjaringkan 13 gol.

Pada saingan Piala Dunia 1962, Haller menjadi tonggak utama Jerman sepanjang kempen berlangsung sehingga Jerman tersingkir pada peringkat suku akhir menentang Yugoslavia 1–0. Pada Piala Dunia 1966, beliau membentuk gandingan pemain tengah mantap dengan Wolfgang Overath dan pemain muda, Franz Beckenbauer. Pasukan Jerman mara ke perlawanan akhir dan Haller menjaringkan gol pembukaan perlawanan pada perlawanan tersebut menentang tuan rumah, England sebelum Jerman akhirnya tewas 4-2. Beliau menjadi penjaring kedua terbanyak kejohanan bersama enam gol di belakang pemain Portugal, Eusébio, yang menjaringkan sembilan gol. Pada saingan Piala Dunia 1970, Jerman menduduki tempat ketiga dan Haller hanya beraksi pda perlawanan pembukaan kejohanan menentang Maghribi. Beliau menggantkan Jürgen Grabowski pada separuh masa.